消息传递神经网络(MPNNS)是由于其简单性和可扩展性而大部分地进行图形结构数据的深度学习的领先架构。不幸的是,有人认为这些架构的表现力有限。本文提出了一种名为Comifariant Subgraph聚合网络(ESAN)的新颖框架来解决这个问题。我们的主要观察是,虽然两个图可能无法通过MPNN可区分,但它们通常包含可区分的子图。因此,我们建议将每个图形作为由某些预定义策略导出的一组子图,并使用合适的等分性架构来处理它。我们为图同构同构同构造的1立维Weisfeiler-Leman(1-WL)测试的新型变体,并在这些新的WL变体方面证明了ESAN的表达性下限。我们进一步证明,我们的方法增加了MPNNS和更具表现力的架构的表现力。此外,我们提供了理论结果,描述了设计选择诸如子图选择政策和等效性神经结构的设计方式如何影响我们的架构的表现力。要处理增加的计算成本,我们提出了一种子图采样方案,可以将其视为我们框架的随机版本。关于真实和合成数据集的一套全面的实验表明,我们的框架提高了流行的GNN架构的表现力和整体性能。
translated by 谷歌翻译
Speech-driven 3D facial animation has been widely explored, with applications in gaming, character animation, virtual reality, and telepresence systems. State-of-the-art methods deform the face topology of the target actor to sync the input audio without considering the identity-specific speaking style and facial idiosyncrasies of the target actor, thus, resulting in unrealistic and inaccurate lip movements. To address this, we present Imitator, a speech-driven facial expression synthesis method, which learns identity-specific details from a short input video and produces novel facial expressions matching the identity-specific speaking style and facial idiosyncrasies of the target actor. Specifically, we train a style-agnostic transformer on a large facial expression dataset which we use as a prior for audio-driven facial expressions. Based on this prior, we optimize for identity-specific speaking style based on a short reference video. To train the prior, we introduce a novel loss function based on detected bilabial consonants to ensure plausible lip closures and consequently improve the realism of the generated expressions. Through detailed experiments and a user study, we show that our approach produces temporally coherent facial expressions from input audio while preserving the speaking style of the target actors.
translated by 谷歌翻译
机器学习(ML)是指根据大量数据预测有意义的输出或对复杂系统进行分类的计算机算法。 ML应用于各个领域,包括自然科学,工程,太空探索甚至游戏开发。本文的重点是在化学和生物海洋学领域使用机器学习。在预测全球固定氮水平,部分二氧化碳压力和其他化学特性时,ML的应用是一种有前途的工具。机器学习还用于生物海洋学领域,可从各种图像(即显微镜,流车和视频记录器),光谱仪和其他信号处理技术中检测浮游形式。此外,ML使用其声学成功地对哺乳动物进行了分类,在特定的环境中检测到濒临灭绝的哺乳动物和鱼类。最重要的是,使用环境数据,ML被证明是预测缺氧条件和有害藻华事件的有效方法,这是对环境监测的重要测量。此外,机器学习被用来为各种物种构建许多对其他研究人员有用的数据库,而创建新算法将帮助海洋研究界更好地理解海洋的化学和生物学。
translated by 谷歌翻译
由于肿胀和病态增大,人体组织中组织的异常发育被称为肿瘤。它们主要被归类为良性和恶性。大脑中的肿瘤可能是致命的,因为它可能是癌性的,因此可以以附近的健康细胞为食并不断增加大小。这可能会影响大脑中软组织,神经细胞和小血管。因此,有必要以最高的精度在早期阶段检测和分类。脑肿瘤的大小和位置不同,这使得很难理解其性质。由于附近的健康细胞与肿瘤之间的相似性,即使使用先进的MRI(磁共振成像)技术,脑肿瘤的检测和分类过程也可能是一项繁重的任务。在本文中,我们使用Keras和Tensorflow来实施最先进的卷积神经网络(CNN)架构,例如EdgitionNetB0,Resnet50,Xpection,MobilenetV2和VGG16,使用转移学习来检测和分类三种类型的大脑肿瘤,即神经胶质瘤,脑膜瘤和垂体。我们使用的数据集由3264个2-D磁共振图像和4个类组成。由于数据集的尺寸较小,因此使用各种数据增强技术来增加数据集的大小。我们提出的方法不仅包括数据增强,而且还包括各种图像降级技术,头骨剥离,裁剪和偏置校正。在我们提出的工作效率NETB0体系结构中,最佳准确性为97.61%。本文的目的是区分正常和异常像素,并以更好的准确性对它们进行分类。
translated by 谷歌翻译
深度神经网络(DNN)模型,包括在安全 - 关键域中使用的模型,需要进行彻底测试,以确保它们在不同的情况下可以可靠地表现良好。在本文中,我们提供了用于测试DNN模型的结构覆盖量指标,包括神经元覆盖(NC),K-Multisection神经元覆盖范围(KMNC),TOP-K神经元覆盖范围(TKNC),神经元边界覆盖率(NBC),强元(NBC),强神经元激活覆盖范围(SNAC)和修改条件/决策覆盖范围(MC/DC)。我们评估用于感知任务的现实DNN模型(包括LENET-1,LENET-4,LENET-5和RESNET20)以及自治(TAXINET)中使用的网络的指标。我们还提供了一个工具DNNCOV,可以测量所有这些指标的测试覆盖范围。 DNNCOV向研究人员和从业人员提供了一份信息丰富的报道报告,以评估DNN测试的充分性,比较不同的覆盖范围,并在测试过程中更方便地检查模型的内部。
translated by 谷歌翻译
增量学习是一种范式,可以通过流数据大规模构建模型构建和更新。对于端到端的自动语音识别(ASR)任务,缺乏人类注释的标签,以及需要保留模型建设政策的隐私政策,这使其成为艰巨的挑战。受这些挑战的激励,在本文中,我们使用基于云的框架为生产系统展示了从隐私保存自动语音识别(ILASR)的增量学习中的见解。我们的意思是,通过保留隐私性,对没有人类注释的短暂数据使用。该系统是用于增量/持续学习的生产LevelAsASR模型的一步,该模型提供了接近实时测试床,以在云中进行端到端ASR实验,同时遵守保留隐私的政策。我们表明,即使在没有人类注释的标签的情况下,拟议的系统也可以在六个月的新时间内显着改善生产模型(3%),而在增量学习中,较弱的监督和大批量大小。在新时期,这种改进比测试集的新单词和短语相比为20%。我们在ASR的同时进一步探讨了拥有有效的教师模型和使用大批量大小的实用性的同时,以保护隐私的增量方式展示了模型构建的有效性。
translated by 谷歌翻译
一组稀疏(例如六个)可穿戴的IMU提供的实时人类运动重建提供了一种非侵入性和经济的运动捕获方法。没有直接从IMU中获取位置信息的能力,最近的作品采用了数据驱动的方法,这些方法利用大型人类运动数据集解决了这一不确定的问题。尽管如此,挑战仍然存在,例如时间一致性,全球和关节动作的漂移以及各种地形上运动类型的各种覆盖范围。我们提出了一种同时估计全身运动的新方法,并实时从六个IMU传感器中产生合理的访问地形。我们的方法包含1.有条件的变压器解码器模型通过明确推理预测历史记录提供一致的预测,2。一个简单而通用的学习目标,称为“固定体点”(SBP),可以由变压器模型稳定地预测并通过分析例程使用要纠正关节和全球漂移,以及3.算法从嘈杂的SBP预测产生正则地形高度图,进而可以纠正嘈杂的全球运动估计。我们对合成和真实的IMU数据以及实时实时演示进行了广泛的评估框架,并显示出优于强基线方法的性能。
translated by 谷歌翻译
国际经济学具有改善对造成贸易的因素的理解历史,以及在各国的自由货物和服务的后果。最近对自由贸易制度的冲击,特别是主要经济体之间的贸易纠纷,以及贸易战争和大流行等黑色天鹅赛事,提高了改进预测,以告知政策决定。 AI方法允许经济学家以新的方式解决这些预测问题。在这一稿件中,我们提出了新的方法,预测和助会在国际上交易的食物和农产品。关联规则(AR)分析已成功部署消费者或商店水平的经济场景,例如市场篮子分析。然而,在我们的工作中,我们对进口和出口协会的分析及其对商品贸易流量的影响。此外,开发了集成机器学习方法,以提供改善的农业贸易预测,异常事件的影响,以及对政策制定者的定量指针。
translated by 谷歌翻译
衡量全球经济均衡的定量指标与农业供应链和国际贸易流量具有强大而相互依存的关系。这些过程中的突然震动由贸易战争,流行病或天气等异常事件造成的,可能对全球经济具有复杂影响。在本文中,我们提出了一种新颖的框架,即:Depeag,采用经济学,使用深度学习(DL)来测量异常事件检测的影响,以确定普通财务指数(如Dowjones)之间的关系,以及生产价值农产品(如奶酪和牛奶)。我们使用称为长期内存(LSTM)网络的DL技术成功地预测商品生产,高精度,也是五个流行的模型(回归和提升)作为基准,以测量异常事件的影响。结果表明,具有异常值的考虑因素(使用隔离林)优于基线模型的Depeag,以及具有异常值检测的相同模型。在预测财务指标预测商品生产时,异常事件会产生相当大的影响。此外,我们展示了Deepag对公共政策的影响,为政策制定者和农民提供了洞察力,以及农业生态系统的运作决策。收集数据,模型开发,并记录和呈现结果。
translated by 谷歌翻译